Ngôi tháp bằng gỗ trước kia thờ nữ vương Jagadharma (công chúa Tchou Koti hay Thiên Y Thánh Mẫu) (cai trị Lâm Ấp từ năm 646 đến năm 653) được Prithi Indravarman cho xây dựng lại bằng vật liệu cứng tại Aya Tră (Nha Trang), trên một ngọn đồi cao cạnh cửa sông Cái (Xóm Bóng), để thờ tượng nữ thần Bhagavati (bằng vàng). Năm 774, quân Nam Đảo (Java, Indonesia) vào cướp phá. Đền Po Nagar, bị quân Nam Đảo phá hủy, sau đó được Satyavarman cho dựng lại bằng gạch, năm 784 thì hoàn thành và tồn tại cho tới ngày nay, nhưng cũng đã bị hủy hoại một phần đáng kể. Sau này quốc vương Harivarman I và con trai ông là Vikrantavarman III sau này có thể đã lần lượt xây dựng thêm 5 tháp nữa.

Những cấu trúc xây dựng còn sót lại có niên đại sớm nhất, theo Trần Kỳ Phương là mandapa - nó đã được xây dựng vào thời gian nào đó trước khi có câu khắc trên bia vào năm 817, có nói tới nó. Trần Kỳ Phương cho rằng tháp nhỏ ở phía tây bắc có niên đại khoảng thế kỷ X, và ngôi tháp chính có niên đại khoảng thế kỷ XI.

Những bia ký còn sót lại ở Po Nagar cho người ta thấy được dấu vết của một quốc gia hùng mạnh đã từng tồn tại trong quá khứ.